In 1572 wordt in geschreven bronnen voor het eerst melding gemaakt van het kasteel van Meldert.
Omstreeks 1845 werd dit complex, op initiatief van gravin Vander Noot, afgebroken en vervangen door het huidige neogotische kasteel naar een ontwerp van architect Vivroux. Het gebouw bestaat in essentie uit een toren, geflankeerd door twee woonvleugels, en achteraan gevat in een open galerij. Met zijn gestileerde wachttorentje, en kantelen verwijst deze toren nog naar een middeleeuwse donjon. De oranjerie, die nu dienst doet als kapel, dateert 1867.
Het kasteel, met zijn bijgebouwen, in 1957 aangekocht door de Aalmoezeniers van de Arbeid, die er het Sint-Janscollege hebben ingericht, kregen in 1993 een bescherming als monument. Het parkgebied van vijftig hectare, dat tot een prachtig natuurbos uitgroeide, werd als dorpsgezicht beschermd en gedeeltelijk als natuurreservaat beheerd.